Lâu Thất tuy là thành viên thị tộc Hoàn Nhan, nhưng không được xếp vào hàng ngũ tông thất. Tổ tiên là Hợp Đốc Giả, định cư ở đầu nguồn của A Chú Hử Thủy. Ông nội là Hiệp Lỗ Trực, dời nhà đến Nhã Thát Lại Thủy, hàng phục các bộ Nô Lân, Ma Cát thuộc liên minh bộ lạc Thất Thủy, trở thành Thất Thủy chư bộ trưởng.

Cha là Bạch Đáp, được nối chức Thất Thủy chư bộ trưởng. Bạch Đáp cùng A Khố đi theo Hặc Lý Bát (tức Kim Thế Tổ) trấn áp cuộc nổi dậy của Ô Xuân, về sau được truy tặng Kim tử quang lộc đại phu.